CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search
CoRe：面向短视频搜索的持续奖励微调 LLM 查询重写器
🧭 LLM 查询重写 · 持续偏好优化 ★ 深度解读
ByteDance / TikTok
以线上多模态相关性模型为奖励源、乘性奖励对齐排序融合，结合半在线 MPO 与稳定性门控实现每周持续重写
📌 工作参考价值（4 点）
- 奖励设计对齐线上融合公式：乘法形式的奖励 \(r_{\text{base}} = (S_{\text{pos}}^{1+\gamma} / S_{\text{neg}}) \cdot (S_{\text{pos}} / S_{\text{rand}})^{\alpha_R}\) 直接镜像了线上排序的融合代数，避免训练-线上信号不一致。在电商搜索中，可将精排模型的分数组合方式直接写进 reward，让查询重写或生成式召回的训练梯度与线上排序目标保持一致。
- 半在线 MPO 降低大模型迭代成本：每阶段只采样一次并仅对 top-k vs bottom-k 偏好对计算梯度，将参数同步和 reward 调用批量化到阶段边界。对于需要高频迭代但推理成本高的多智能体或 LLM 组件，这种梯度节约和调度解耦可直接复用。
- 双族指标自动晋升门控：用奖励类指标 (rmain, Spos, rrand) 和稳定性指标 (熵、perplexity、长度、截断率) 联合判断候选模型。在 Agent 或多步推理的强化学习任务中，补充稳定性指标可提前捕捉模式坍塌或奖励黑客，已证明比纯奖励门控更可靠。
- 增量并行路径消费，控制爆炸半径：重写信号作为 recall、rawrank、finerank 各阶段的附加特征，失败时自动降级到原始链路。为在推荐/搜索系统里引入 LLM 组件提供了安全落地模式——先叠加再逐步替代，避免一次性切换风险。